Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
我们提出了DeePIPC，这是一种端到端的多任务模型，可在自动驾驶移动机器人自动驾驶时处理感知和控制任务。该模型由两个主要部分组成：感知和控制器模块。感知模块拍摄RGB图像和深度图来执行语义分割和鸟类视图（BEV）语义映射，并提供其编码功能。同时，控制器模块通过测量GNSS位置和角速度处理这些功能，以估算带有潜在特征的航路点。然后，使用两种不同的代理将航路点和潜在特征转换为一组导航控件，以驱动机器人。通过预测驾驶记录并在实际环境中的各种条件下进行自动驾驶来评估该模型。基于实验结果，DEEPIPC与其他模型相比，即使参数较少，DEEPIPC也达到了最佳的驾驶性和多任务性能。
translated by 谷歌翻译
为了关注自动驾驶工具的点对点导航的任务，我们提出了一种新颖的深度学习模型，该模型接受了端到端和多任务学习的方式，以同时执行感知和控制任务。该模型用于通过按照全球规划器定义的一系列路线来安全地驱动自我车辆。模型的感知部分用于编码RGBD摄像机提供的高维观察数据，同时执行语义分割，语义深度云（SDC）映射以及交通灯状态和停止符号预测。然后，控制零件将解码编码的功能以及GPS和速度计提供的其他信息，以预测带有潜在特征空间的路点。此外，还采用了两名代理来处理这些输出，并制定控制策略，以确定转向，油门和制动的水平为最终动作。在Carla模拟器上评估该模型，其各种情况由正常的对抗情况和不同的风雨制成，以模仿现实世界中的情况。此外，我们对一些最近的模型进行了比较研究，以证明驾驶多个方面的性能是合理的。此外，我们还对SDC映射和多代理进行了消融研究，以了解其角色和行为。结果，即使参数和计算负载较少，我们的模型也达到了最高的驾驶得分。为了支持未来的研究，我们可以在https://github.com/oskarnatan/end-to-end-drive上分享我们的代码。
translated by 谷歌翻译
Over the years, sequential Monte Carlo (SMC) and, equivalently, particle filter (PF) theory has gained substantial attention from researchers. However, the performance of the resampling methodology, also known as offspring selection, has not advanced recently. We propose two deterministic offspring selection methods, which strive to minimize the Kullback-Leibler (KL) divergence and the total variation (TV) distance, respectively, between the particle distribution prior and subsequent to the offspring selection. By reducing the statistical distance between the selected offspring and the joint distribution, we obtain a heuristic search procedure that performs superior to a maximum likelihood search in precisely those contexts where the latter performs better than an SMC. For SMC and particle Markov chain Monte Carlo (pMCMC), our proposed offspring selection methods always outperform or compare favorably with the two state-of-the-art resampling schemes on two models commonly used as benchmarks from the literature.
translated by 谷歌翻译
Earthquakes, fire, and floods often cause structural collapses of buildings. The inspection of damaged buildings poses a high risk for emergency forces or is even impossible, though. We present three recent selected missions of the Robotics Task Force of the German Rescue Robotics Center, where both ground and aerial robots were used to explore destroyed buildings. We describe and reflect the missions as well as the lessons learned that have resulted from them. In order to make robots from research laboratories fit for real operations, realistic test environments were set up for outdoor and indoor use and tested in regular exercises by researchers and emergency forces. Based on this experience, the robots and their control software were significantly improved. Furthermore, top teams of researchers and first responders were formed, each with realistic assessments of the operational and practical suitability of robotic systems.
translated by 谷歌翻译
通过磁共振成像（MRI）评估肿瘤负担对于评估胶质母细胞瘤的治疗反应至关重要。由于疾病的高异质性和复杂性，该评估的性能很复杂，并且与高变异性相关。在这项工作中，我们解决了这个问题，并提出了一条深度学习管道，用于对胶质母细胞瘤患者进行全自动的端到端分析。我们的方法同时确定了肿瘤的子区域，包括第一步的肿瘤，周围肿瘤和手术腔，然后计算出遵循神经符号学（RANO）标准的当前响应评估的体积和双相测量。此外，我们引入了严格的手动注释过程，其随后是人类专家描绘肿瘤子区域的，并捕获其分割的信心，后来在训练深度学习模型时被使用。我们广泛的实验研究的结果超过了760次术前和504例从公共数据库获得的神经胶质瘤后患者（2021 - 2020年在19个地点获得）和临床治疗试验（47和69个地点，可用于公共数据库（在19个地点获得）（47和69个地点）术前/术后患者，2009-2011）并以彻底的定量，定性和统计分析进行了备份，表明我们的管道在手动描述时间的一部分中对术前和术后MRI进行了准确的分割（最高20比人更快。二维和体积测量与专家放射科医生非常吻合，我们表明RANO测量并不总是足以量化肿瘤负担。
translated by 谷歌翻译
在这项工作中，我们提出了一种神经方法，用于重建描述层次相互作用的生根树图，使用新颖的表示，我们将其称为最低的共同祖先世代（LCAG）矩阵。这种紧凑的配方等效于邻接矩阵，但是如果直接使用邻接矩阵，则可以单独从叶子中学习树的结构，而无需先前的假设。因此，采用LCAG启用了第一个端到端的可训练解决方案，该解决方案仅使用末端树叶直接学习不同树大小的层次结构。在高能量粒子物理学的情况下，粒子衰减形成了分层树结构，只能通过实验观察到最终产物，并且可能的树的大型组合空间使分析溶液变得很棘手。我们证明了LCAG用作使用变压器编码器和神经关系编码器编码器图神经网络的模拟粒子物理衰减结构的任务。采用这种方法，我们能够正确预测LCAG纯粹是从叶子特征中的LCAG，最大树深度为$ 8 $ in $ 92.5 \％\％的树木箱子，最高$ 6 $叶子（包括）和$ 59.7 \％\％\％\％的树木$在我们的模拟数据集中$ 10 $。
translated by 谷歌翻译
近年来，多级预测广受欢迎。因此，衡量拟合度的善良成为研究人员经常必须处理的基本问题。几个指标通常用于此任务。但是，当人们必须决定正确的测量值时，他必须考虑不同的用例施加了控制这一决定的不同约束。至少在\ emph {现实世界}多级问题中的主要约束是不平衡的数据：多类问题几乎无法提供对称数据。因此，当我们观察到常见的KPI（关键性能指标）时，例如精度敏感性或准确性时，很少会将所获得的数字解释为模型的实际需求。我们建议将Matthew的相关系数概括为多维。该概括基于对广义混淆矩阵的几何解释。
translated by 谷歌翻译
现代语言模型中的检测和缓解有害偏见被广泛认为是至关重要的开放问题。在本文中，我们退后一步，研究语言模型首先是如何偏见的。我们使用在英语Wikipedia语料库中训练的LSTM架构，使用相对较小的语言模型。在培训期间的每一步中，在每个步骤中都会更改数据和模型参数，我们可以详细介绍性别表示形式的发展，数据集中的哪些模式驱动器以及模型的内部状态如何与偏差相关在下游任务（语义文本相似性）中。我们发现性别的表示是动态的，并在训练过程中确定了不同的阶段。此外，我们表明，性别信息在模型的输入嵌入中越来越多地表示，因此，对这些性别的态度可以有效地减少下游偏置。监测训练动力学，使我们能够检测出在输入嵌入中如何表示男性和男性性别的不对称性。这很重要，因为这可能会导致幼稚的缓解策略引入新的不良偏见。我们更普遍地讨论了发现与缓解策略的相关性，以及将我们的方法推广到更大语言模型，变压器体系结构，其他语言和其他不良偏见的前景。
translated by 谷歌翻译
我们建议一种基于局部近似值的新型分类算法，并解释其与人工神经网络（ANN）和最近的邻居分类器的联系。我们在数据集MNIST和手写数字图像的Emnist上进行了说明。我们使用数据集MNIST查找算法的参数，并将这些参数应用于具有挑战性的EMNIST数据集。已经证明，该算法误解了0.42％的Emnist图像，因此明显优于人类和浅层人工神经网络（具有很少的隐藏层的ANN）的预测，这两者都有超过1.3％的错误
translated by 谷歌翻译